有哪些限制网站爬虫的措施

限制网站爬虫的措施如下：

• 添加验证码：在登录页等页面，添加验证码，以识别是正常流量还是恶意爬虫，也是一种基本的操作。不过如今爬虫技术，早已能解决验证码的问题，例如二值化、中值滤波去噪等等。

• 分布式爬虫：分布式能在一定程度上起到反爬虫的作用，当然相对于反爬虫分布式最大的作用还是能做到高效大量的抓取。

• 注意配合移动端、web端以及桌面版：其中web端包括m站即手机站和pc站，往往是pc站的模拟抓取难度大于手机站，所以在m站和pc站的资源相同的情况下优先考虑抓取m站。同时如果无法在web端抓取，不可忽略在app以及桌面版的也可以抓取到目标数据资源。

• 限制User-Agent字段：User-Agent字段能识别用户所使用的操作系统、版本、CPU、浏览器等信息，如果请求来自非浏览器，就能识别其为爬虫，阻止爬虫抓取网站信息。User-Agent字段虽然有效，但对于精心构造的爬虫来说，效果并不好。攻击者可以通过在恶意爬虫请求的User-Agent字段中带上baidu字符，伪装成百度爬虫绕过这一规则，无法被拦截。

• 限制IP：限制IP是最常见的手段之一，为了效率，恶意爬虫的请求频率往往比正常流量高，找出这些IP并限制其访问，可以有效降低恶意爬虫造成的危害。不过限制IP也有自己的缺点，容易误伤正常用户，攻击者可以通过搭建IP池的方法，来解决这个问题。

• 多账号反爬：有很多的网站会通过同一个用户单位时间内操作频次来判断是否机器人，比如像新浪微博等网站。这种情况下我们就需要先测试单用户抓取阈值，然后在阈值前切换账号其他用户，如此循环即可。当然，新浪微博反爬手段不止是账号，还包括单ip操作频次等。

• Cookies限制：根据业务需求，可对Cookies进行限制，要求用户登录后才能使用某些功能或权限，并针对同一账号的访问速度进行限制。

• 使用爬虫管理产品：蔚可云提供了BotGuard爬虫管理产品，通过交互验证、大数据分析、合法性验证等策略，帮助企业实时检测、管理和阻断恶意爬虫。